企業將人工智慧（AI）專案從概念驗證推進到實際生產環境時，面臨數據管理、基礎設施建置、高昂 Token 成本及資安治理等多重挑戰，專家指出，企業需跳脫單一技術考量，轉向全面性的整合解決方案，才能真正實現 AI 帶來的價值並確保數據安全。
企業在將人工智慧（AI）專案從初步的「概念驗證」（proof of concept, POC，指對新想法或新技術進行可行性驗證的初步階段）推進到實際生產環境時，面臨諸多複雜挑戰。產業專家指出，若要真正實現 AI 效益，企業必須跳脫單點技術思維，轉向全面整合的解決方案。
超微半導體（Advanced Micro Devices Inc.）企業 AI 市場開發總監 Nicola Tan 強調，對企業而言，AI 的真正價值在於其數據，而非 AI 模型本身，因為基礎模型已成為所有企業皆可取得的「基本條件」（table stakes）。然而，將 AI 整合到整個組織的一大挑戰，便是確保所有數據都能被 AI 存取和運用。
超微電腦（Super Micro Computer Inc.）資深產品經理 Junxia Zhou 提到，概念驗證（POC）並非 AI 實施的完整藍圖。她指出，試驗性質的 POC 通常僅針對單一應用場景和小型數據集設計，服務少數團隊成員；但實際生產環境下的 AI，可能需支援數千名終端使用者，產生大量的「推理請求」（inference requests），兩者需求截然不同。因此，企業需要全面性地思考其基礎設施和數據要求，以應對生產級 AI 的需求。
企業在將 AI 投入生產時，主要障礙包括高昂的 Token 成本和分散在多個系統中的數據。Nutanix 解決方案行銷總監 Mayank Gupta 解釋，現有軟體層可能尚未準備好支援「代理式人工智慧」（Agentic AI，指能自主規劃、執行任務並與環境互動的 AI 系統）的環境。一般聊天機器人的查詢可能只消耗數百個 Token（AI 處理資訊的基本單位），但代理式人工智慧在與其他代理、數據和模型溝通時，能在幾秒內消耗數千個 Token。Mayank Gupta 也指出，治理和 Token 成本是企業執行長和財務長對於代理式人工智慧最關注的議題。
為解決數據傳輸瓶頸，超微電腦的 Junxia Zhou 表示，AI 基礎設施的效能受限於數據傳輸至繪圖處理器（GPU）的速度，因此數據儲存和網路已成為 AI 管線中極為關鍵的部分。她建議可採用兩層式儲存架構，將快閃記憶體用於活躍數據，大規模物件儲存用於歸檔數據，以在高效能存取和成本效益之間取得平衡。
面對敏感數據的安全與治理問題，許多企業逐漸尋求「主權 AI」（sovereign AI）解決方案。Junxia Zhou 觀察到，企業不願將智財權或客戶資訊等敏感數據發送給外部 AI 供應商，因此對於將私有 AI 基礎設施部署在更靠近數據所在地點的需求日益增加。此外，Nicola Tan 也指出，本地（local）和「開放權重」（open-weight，指模型參數公開，可供使用者自由下載、修改及部署的 AI 模型）的 AI 模型，其智慧能力已能與頂尖模型媲美，且能在企業內部環境運行，提供企業更多彈性和掌控性。